Lâm Quá Vân tên khai sinh là Lâm Quốc Dụ sinh ngày 22 tháng 5 năm 1955 tại Malaysia,[3] cha của hắn là Lâm Vĩ Lạc (林偉樂) có 3 người vợ và 10 người con, Lâm Quá Vân là con trai cả, do bà vợ nào cả Trương Kiếm Bình (張劍萍) sinh ra.[4][5] Sau khi li hôn, Lâm Vĩ Lạc được quyền nuôi Lâm Quá Vân và chuyển sang Hồng Kông (thuộc Anh) sống, Vĩ Lạc lấy vợ mới.[3] Từ năm 1957 đến năm 1962, cha của Lâm làm việc trong một công ty dầu mỏ ở Brunei, Lâm từng học tiểu học ở đây với thành tích rất tốt.[6] Năm 1968, cha của Lâm chuyển công tác về Công ty Điện lực Trung Hoa, ông bắt Lâm buổi sáng học tại trường trung học Matteo Ricci ở Thâm Thủy Bộ, còn buổi tối học tại Học viện Bách khoa, điều này khiến Lâm không theo kịp môn Toán. Năm 1970, cha của Lâm mở một cửa hàng xe máy và yêu cầu Lâm trông cửa hàng sau mỗi buổi học; học lực tiếp tục sa sút. Mối quan hệ giữa hai bố con cũng rạn nứt, cha Lâm thường xuyên đánh đập và đuổi hắn ra khỏi nhà, việc này tiếp diễn đến khi Lâm học lớp 9.[7] Sau khi tốt nghiệp cấp hai, Lâm làm việc trong cửa hàng xe củ cha tại đường Khang Ninh, khu Quan Đường; rồi học nghề sửa máy điều hòa từ một người họ hàng.

Năm 1973, Lâm bị đuổi ra khỏi nhà sau khi cãi cọ với cha, hắn dùng dao khống chế một phụ nữ vào nhà vệ sinh và xàm sỡ cô; ngay sau đó Lâm bị bắt. Bác sĩ xác định, hắn có vấn đề về tâm thần và không thích hợp để bị giam hay ngồi tù, Lâm được đưa đi điều trị 102 ngày.[8] Khi xuất viện hắn đổi tên thành Lâm Hữu Cường.

Khi Lâm 19 tuổi, gia đình nhận thấy những điều bất thường ở hắn, Lâm có sở thích với cơ thể phụ nữ; hắn bị phát hiện nhìn trộm em gái mình tắm. Gia đình bắt hắn chuyển đến sống cùng em trai tại khu chung cư An Khánh, đường Quý Châu, khi Thổ Qua Loan.[9] Năm 1978, Lâm có được giấy phép lái taxi trở thành tài xế taxi, hắn đổi tên thành Lâm Quá Vân.[10][11]

Năm 1980, hắn bắt đầu lái xe ca đêm và bắt đầu có hứng thú với nhiếp ảnh, Lâm học và tham gia câu lạc bộ nhiếp ảnh.[3] Sau một nAm lái xe đêm, mẹ của Lâm nhận thấy thêm các điều kỳ lạ ở hắn. Lâm không tắm rửa, từ chối giặt đồ, điệu bộ chán nản, nửa đêm đi lại trong nhà như bị mộng du.[12]